DB2 มีประวัติยาวนานและถูกมองว่าเป็นระบบฐานจัดการฐานข้อมูลแรกที่ใช้ภาษา SQL (SQL คิดค้นโดย ไอบีเอ็ม)

ชื่อ "DB2" ถูกใช้ครั้งแรกเมื่อค.ศ. 1983 เมื่อ ไอบีเอ็ม ส่ง DB2 ซึ่งทำงานกับระบบปฏิบัติการ MVS บนเครื่องเมนเฟรมคอมพิวเตอร์ แต่ก่อนหน้านี้ ไอบีเอ็ม เคยออกผลิตภัณฑ์ที่ชื่อว่า SQL/DS ซึ่งเป็นระบบจัดการฐานข้อมูลเหมือนกันแต่ทำงานบนระบบปฏิบัติการ VM บนเครื่องเมนเฟรมคอมพิวเตอร์มาก่อนแล้ว สำหรับระบบจัดการฐานข้อมูลที่เป็นตัวต้นแบบนั้นถูกพัฒนามาตั้งแต่ยุค 1970s ซึ่งถูกเรียกว่า System R และถูกนำมาใช้งานร่วมกับเครื่อง System 38 ในยุคปี ค.ศ. 1968 Dr. E.F. Codd (ซึงทำงานอยู่ที่ ไอบีเอ็ม) ได้นำเสนอโมเดลเชิงสัมพันธ์ ซึ่งมีหลักการอยู่บนพื้นฐาน ทางคณิตศาสตร์ เพื่อแก้ปัญหาของโมเดลฐานข้อมูลแบบเดิม ไอบีเอ็ม ก็ได้นำแนวคิด ของ Dr. E.F. Codd ไปสร้างระบบฐานข้อมูลเชิงสัมพันธ์ที่ชื่อว่า System R ขึ้น และพัฒนาต่อเนื่องมาเรื่อย จนเป็น DB2 รวมถึงการพัฒนาภาษา SEQUEL เพื่อใช้สำหรับเรียกดูและจัดการกับข้อมูลในฐานข้อมูลเชิงสัมพันธ์ ในช่วงปีต่อมาคือ1976-1977 ได้มีการปรับปรุงเวอร์ชันใหม่จาก SEQUEL เป็น SEQUEL/2 และภายหลังก็ได้เปลี่ยนแปลงชื่อเป็น SQL

ในปัจจุบันมีผู้ผลิตซอฟต์แวร์ฐานข้อมูลขึ้นมามากมาย โดยใช้ทฤษฎีของ Dr. E.F. Codd เพื่อสร้าง ระบบฐานข้อมูลเชิงสัมพันธ์ขึ้นมามากมาย

เริ่มแรกนั้น DB2 ถูกพัฒนามาเพื่อใช้งานกับเครื่อง ไอบีเอ็ม เมนเฟรม หลังจากนั้น (1990s) ได้มีการพัฒนาต่อเนื่องทำให้สามารถใช้งานกับแพลทฟอร์มอื่นๆ ได้ทั้ง MS. Windows Linux ต่างๆ ไอบีเอ็ม AIX Sun Solaris HP-UX ไอบีเอ็ม i/OS แต่ภาษาที่ใช้ในการพัฒนา DB2 บนเครื่องเมนเฟรมกับแพลทฟอร์มอื่นนั้นแตกต่างกัน DB2 สำหรับเครื่องเมนเฟรมนั้นถูกพัฒนาโดยภาษา PL/S แต่ DB2 LUW (Linux/Unix/Windows) นั้นถูกพัฒนาโดยภาษา C++ แต่โดยรวมแล้ว DB2 จะมีการแชร์ฟังก์ชันและ Common Archictecture ร่วมกันกลางยุค 1990s ไอบีเอ็ม ได้มีการพัฒนา DB2 Parallel Edition ขึ้นภายใต้แนวความคิด Shared Nothing Architecture เพื่อรองรับการขยายตัวของฐานข้อมลขนาดใหญ่ โดยสามารถทำการกระจายข้อมูลต่างๆ ไปยังเครื่อง DB2 Server หลายๆ เครื่องได้ หลังจากนั้นก็มีการพัฒนาเรื่อยมาและมีการเปลี่ยนชื่อเป็น DB2 Extended Enterprise Edition (DB2 EEE) และในปัจจุบัน ไอบีเอ็ม เรียกความสามารถในส่วนนี้ว่า Data Partitioning Feature (DPF) ซึ่งเป็นส่วนเสริม (option) ซึ่งต้องใช้งานร่วมกับ DB2 Enterprise Editionปี 2006 ทาง ไอบีเอ็ม ได้มีการพัฒนาเพิ่มเติมในส่วนของ XML ทำให้ DB2 สามารถจัดเก็บข้อมูล XML ในลักษณะ "natively" โดยมีการพัฒนา Database Engine เพิ่มเติมสำหรับจัดการข้อมูล XML โดยเฉพาะเรียกว่า (PureXML) ซี่งในโหมดนี้ XML data จะถูกจัดเก็บในลักษณะที่เป็น XML จริงๆ ไม่ใช่ CLOB (Character Large Object) หรือ relation data ทำให้มีประสิทธิภาพในการเข้าถึงดีขึ้น